Hầu hết nguồn gốc và lịch sử chùa chiền ở Bình Thuận gắn liền với sự kiện di dân từ các tỉnh cực Bắc và Trung Trung Bộ.

Nếu tính niên đại chính thức của ngôi chùa theo gia phả để lại thì chùa được kiến tạo, tu bổ lại vào năm Đinh Mão 1747 đời Vua Lê Hiển Tông - niên hiệu Cảnh Hưng thứ 8, đây là một trong những ngôi chùa có niên đại đại sớm nhất ở Bình Thuận. Với những giá trị và ý nghĩa tiêu biểu.

Thuở sơ khai nơi đây chỉ là một tiểu am tranh lá đơn sơ đứng trầm mặc trên ngọn đồi hoang vắng. Quanh chùa thuở ấy là những khu rừng, những mỏm đá nguyên sinh trầm lắng thích nghi với cảnh Phật tràng. Vị sư tổ khai sáng chùa là Nguyễn Cánh, trước khi qua đời đã lập gia phả này giao lại cho con là Nguyễn Khách thừa kế ngôi tiểu am.

Vua Gia Long khi còn là Nguyễn Ánh bị quân Tây Sơn truy đuổi đã bôn tẩu ra Phú Quý và dừng chân lưu gót tại chùa Linh Quang.

Để tưởng nhớ những ngày vua bôn ba ra hải đảo, đồng thời lưu lại kỷ niệm nhà vua đến thăm chùa, Linh Quang Tự đã tạo tác bài thơ ngay trước sân thượng của chùa như sau:

"Gia Long bổn tầu thời quốc nạn

Cặp đảo mai danh đáo Linh Quang

Ngắm nhìn đoài, chấn phùng thánh địa

Đặt hướng Tây canh dựng đại môn".